tg-me.com/machinelearning_interview/1839
Last Update:
🧠 ShapeLLM-Omni — первая LLM, которая понимает форму, текст и 3D
ShapeLLM-Omni — это мультимодальная модель от JAMESYJL, способная обрабатывать не только текст и изображения, но и 3D-объекты, точки, сетки, CAD, и даже тактильные карты. Она объединяет визуальное, пространственное и языковое представление.
🚀 Что умеет:
• 🔤 Понимает текстовые запросы
• 📦 Анализирует 3D-модели, включая point clouds и mesh
• ✋ Поддерживает тактильные данные (touch maps)
• 🧰 Универсальный encoder для всех типов данных
• 🤖 Основана на сильной Vision+LLM архитектуре
• 🧩 Поддерживает задачи: классификация, QA, описание 3D-сцен
🧪 Пример использования:
Модель может ответить на вопрос:
"Какой это инструмент?" — анализируя 3D-модель объекта.
📦 Форматы входа:
• Point cloud
• Mesh (.obj)
• Voxel
• Text prompt
• Touch (tactile image)
🔬 Для чего подходит:
• Робототехника
• AR/VR
• 3D-дизайн и CAD
• Мультимодальные агенты
• Образование и техподдержка по 3D-объектам
🔗 GitHub: github.com/JAMESYJL/ShapeLLM-Omni
💡 ShapeLLM-Omni — это новый шаг к универсальным LLM, которые понимают форму, а не только текст и пиксели.
@machinelearning_interview
BY Machine learning Interview
Share with your friend now:
tg-me.com/machinelearning_interview/1839